แม้จะเป็นคนโปรดของกษัตริย์ แต่เกฟสตันไม่เป็นที่โปรดปรานของราชสำนัก หนึ่งในศัตรูของเขาคือพระนางอีซาแบลแห่งฝรั่งเศสผู้เป็นพระมเหสีของพระเจ้าเอ็ดเวิร์ดที่ 2 ทั้งคู่สมรสกันด้วยเหตุผลทางการเมืองในช่วงที่พระเจ้าเอ็ดเวิร์ดที่ 1 ยังมีชีวิตอยู่ ในตอนนั้นกษัตริย์ต้องการสร้างหลักประกันในการสืบทอดตำแหน่งให้แก่พระโอรสจึงได้จับพระองค์สมรสกับอีซาแบลแห่งฝรั่งเศส พระราชธิดาของพระเจ้าฟีลิปที่ 4 แห่งฝรั่งเศสเพื่อเชื่อมสัมพันธไมตรี ทว่าในวันพิธีสมรส (ซึ่งเป็นช่วงที่เกฟสตันถูกเนรเทศอยู่) เจ้าชายเอ็ดเวิร์ดเมินเฉยต่ออีซาแบลจนทำให้พระนางกับพระญาติรู้สึกอับอายขายหน้า

แม้สุดท้ายพระเจ้าเอ็ดเวิร์ดที่ 2 จะมีพระราชบุตรสี่คนกับพระราชินีชาวฝรั่งเศส แต่พระองค์อาจเป็นไบเซ็กซวล ความสนิทสนมของเกฟสตันกับพระเจ้าเอ็ดเวิร์ดที่ 2 อาจเป็นต้นเหตุของรอยร้าวที่ขึ้นในความสัมพันธ์ระหว่างกษัตริย์กับพระราชินี หลังพระเจ้าเอ็ดเวิร์ดที่ 1 เสด็จสวรรคต พระเจ้าเอ็ดเวิร์ดที่ 2 กับพระมเหสีเข้ารับการสวมมงกุฎพร้อมกันที่วิหารเวสต์มินสเตอร์ในปี ค.ศ. 1308 โดยขณะนั้นกษัตริย์มีพระชนมายุ 23 พรรษา ส่วนอีซาแบลมีพระชนมายุ 13 พรรษา ในช่วงพิธีราชาภิเษกมีบันทึกว่ากษัตริย์คนใหม่ใช้เวลาอยู่กับคนโปรดของพระองค์มากกว่าพระราชินีจนทำให้พระญาติส่วนหนึ่งของอีซาแบลตัดสินใจเดินออกจากงาน มีหลักฐานที่ทำให้เชื่อว่าความอับอายขายหน้าที่เกิดขึ้นนี้ส่งผลให้พระเจ้าฟีลิปที่ 4 แห่งฝรั่งเศส พระราชบิดาของอีซาแบลว่าจ้างเอิร์ลแห่งลิงคอร์นและเอิร์ลแห่งเพมโบรกให้กำจัดเกฟสตันลงจากอำนาจ เกฟสตันถูกเนรเทศอีกครั้งไปไอร์แลนด์ในช่วงปลายปี แต่ก็ได้กลับมาในปี ค.ศ. 1309 หลังกลับมาจากการถูกเนรเทศครั่งนี้ ความสัมพันธ์ของเขากับพระราชินีดูจะพัฒนาไปในทางที่ดีขึ้น

การเป็นคนโปรดของพระเจ้าเอ็ดเวิร์ดที่ 2 กระตุ้นให้ขุนนางคนอื่นๆ ในราชสำนักริษยาเกฟสตัน อีกทั้งอุปนิสัยที่แข็งกร้าวของเขายิ่งทำให้ทุกอย่างเลวร้ายลง ในช่วงปี ค.ศ. 1310 ความไม่พอใจในหมู่ขุนนางรุนแรงมากจนกษัตริย์ถูกบีบให้ตั้งคณะขุนนางผู้บัญญัติ (Lord Ordainers) อันประกอบด้วยเอิร์ล, บารอน และบิชอป จำนวน 21 คน ขึ้นมาปฏิรูปการบริหารจัดการครัวเรือนของกษัตริย์ ขณะที่กษัตริย์นำทัพไปทำศึกในสกอตแลนด์แต่ไม่สามารถกำราบโรเบิร์ต เดอะ บรูซ

ในเดือนสิงหาคม ค.ศ. 1311 คณะขุนนางผู้บัญญัติมีคำสั่งเนรเทศเกฟสตันอย่างถาวร โดยไม่อนุญาตให้เขากลับมาอีก พระเจ้าเอ็ดเวิร์ดที่ 2 เสนอข้อแลกเปลี่ยนยินดีทำทุกอย่างเพื่อให้เกฟสตันได้อยู่ต่อ แต่คณะขุนนางผู้บัญญัติไม่รับข้อเสนอ ในเดือนพฤศจิกายนคนโปรดของพระองค์ต้องเดินทางออกจากประเทศ ในระหว่างการถูกเนรเทศครั้งที่สามนี้ มาร์กาเร็ต เดอ แคลร์ ภรรยาของเพียร์สได้ให้กำเนิดบุตรสาวนามว่าโจน เกฟสตัน พระเจ้าเอ็ดเวิร์ดที่ 2 ทุ่มเงิน 40 ปอนด์ (หรือ 100,000 ปอนด์เมื่อเทียบกับค่าเงินในปัจจุบัน) เพื่อจัดงานเลี้ยงฉลองการเกิดของโจนเป็นระยะเวลาหนึ่งสัปดาห์